我们提出了块茎:一种简单的时空视频动作检测解决方案。与依赖于离线演员检测器或手工设计的演员位置假设的现有方法不同,我们建议通过同时执行动作定位和识别从单个表示来直接检测视频中的动作微管。块茎学习一组管芯查询,并利用微调模块来模拟视频剪辑的动态时空性质,其有效地加强了与在时空空间中的演员位置假设相比的模型容量。对于包含过渡状态或场景变更的视频,我们提出了一种上下文意识的分类头来利用短期和长期上下文来加强行动分类,以及用于检测精确的时间动作程度的动作开关回归头。块茎直接产生具有可变长度的动作管,甚至对长视频剪辑保持良好的结果。块茎在常用的动作检测数据集AVA,UCF101-24和JHMDB51-21上优于先前的最先进。
translated by 谷歌翻译
Recent studies have found that pain in infancy has a significant impact on infant development, including psychological problems, possible brain injury, and pain sensitivity in adulthood. However, due to the lack of specialists and the fact that infants are unable to express verbally their experience of pain, it is difficult to assess infant pain. Most existing infant pain assessment systems directly apply adult methods to infants ignoring the differences between infant expressions and adult expressions. Meanwhile, as the study of facial action coding system continues to advance, the use of action units (AUs) opens up new possibilities for expression recognition and pain assessment. In this paper, a novel AuE-IPA method is proposed for assessing infant pain by leveraging different engagement levels of AUs. First, different engagement levels of AUs in infant pain are revealed, by analyzing the class activation map of an end-to-end pain assessment model. The intensities of top-engaged AUs are then used in a regression model for achieving automatic infant pain assessment. The model proposed is trained and experimented on YouTube Immunization dataset, YouTube Blood Test dataset, and iCOPEVid dataset. The experimental results show that our AuE-IPA method is more applicable to infants and possesses stronger generalization ability than end-to-end assessment model and the classic PSPI metric.
translated by 谷歌翻译
当前,大型预训练模型被广泛应用于神经代码完成系统,例如GitHub Copilot,AixCoder和Tabnine。尽管大型模型的表现大大优于较小的同行,但与2,631名参与者的调查显示,开发人员未接受大约70 \%的copilot的代码完成。被审查但不接受,这些完成对生产力构成了威胁。此外,考虑到大型模型的高成本,它是计算资源和能源的巨大浪费,这严重违背了AI技术的可持续发展原则。此外,在代码完成系统中,完成请求会自动并积极地发给模型,因为开发人员类型输出,这大大加剧了工作负载。但是,据我们所知,在神经法规完成的背景下,从未实现过这种废物,更不用说有效地解决了。因此,迫切需要防止以成本友好的方式进行这种无利可图的代码完成。为了填补这一空白,我们首先研究这些完成的提示,并找到四个可观察到的及时模式,这些模式证明了根据提示本身识别此类提示的可行性。在这一发现的激励下,我们提出了一种早期的拒绝机制,以预言完成质量而不将其发送给LCM,以拒绝低返回的提示。此外,我们提出了一个基于轻量变压器的估计器,以证明该机制的可行性。实验结果表明,估算器以83.2%的有希望的准确性拒绝低退还提示。
translated by 谷歌翻译
我们提出了一种新的表结构识别方法(TSR)方法,称为TSRFormer,以稳健地识别来自各种表图像的几何变形的复杂表的结构。与以前的方法不同,我们将表分离线预测作为线回归问题,而不是图像分割问题,并提出了一种新的两阶段基于基于DETR的分离器预测方法,称为\ textbf {sep} arator \ textbf {re} re} tr} ansformer(sepretr),直接预测与表图像的分离线。为了使两阶段的DETR框架有效地有效地在分离线预测任务上工作,我们提出了两个改进:1)一种先前增强的匹配策略,以解决慢速收敛问题的detr; 2)直接来自高分辨率卷积特征图的样本特征的新的交叉注意模块,以便以低计算成本实现高定位精度。在分离线预测之后,使用简单的基于关系网络的单元格合并模块来恢复跨越单元。借助这些新技术,我们的TSRFormer在包括SCITSR,PubTabnet和WTW在内的多个基准数据集上实现了最先进的性能。此外,我们已经验证了使用复杂的结构,无边界的单元,大空间,空的或跨越的单元格以及在更具挑战性的现实世界内部数据集中扭曲甚至弯曲的形状的桌子的鲁棒性。
translated by 谷歌翻译
随机梯度下降(SGD)有利于最小值的观察结果在理解SGD的隐式正则化和指导超参数调整方面发挥了基本作用。在本文中,我们通过将SGD的特定噪声结构与其\ emph {线性稳定性}相关联(Wu et al。,2018),对这种引人注目的现象提供了定量解释。具体而言,我们考虑培训具有正方形损失的过度参数化模型。我们证明,如果全局最低$ \ theta^*$是线性稳定的,则必须满足$ \ | h(\ theta^*)\ | _f \ leq o(\ sqrt {b}/\ eta)$ ,其中$ \ | h(\ theta^*)\ | _f,b,\ eta $分别表示Hessian的Frobenius Norm,分别为$ \ theta^*$,批处理大小和学习率。否则,SGD将快速逃离该最小值\ emph {指数}。因此,对于SGD可访问的最小值,通过Hessian的Frobenius Norm衡量的平坦度与模型尺寸和样本尺寸无关。获得这些结果的关键是利用SGD噪声的特定几何学意识:1)噪声幅度与损失值成正比; 2)噪声方向集中在当地景观的尖锐方向上。 SGD噪声的这种属性证明是线性网络和随机特征模型(RFM),并在非线性网络进行了经验验证。此外,我们的理论发现的有效性和实际相关性是通过广泛的数值实验证明的。
translated by 谷歌翻译
本文提出了一种新颖的方法,该方法支持自然语言语音说明,以指导训练自动驾驶汽车时进行深度强化学习(DRL)算法。DRL方法是自动驾驶汽车(AV)代理的流行方法。但是,大多数现有的方法都是样本和时间的,并且缺乏与人类专家的自然通信渠道。在本文中,新的人类驾驶员如何从人类教练那里学习,激励我们研究人类在循环学习的新方法,并为代理商学习更自然和平易近人的培训界面。我们建议将自然语言语音说明(NLI)纳入基于模型的深度强化学习以训练自动驾驶汽车。我们与Carla模拟器中的一些最先进的DRL方法一起评估了所提出的方法。结果表明,NLI可以帮助缓解训练过程,并大大提高代理商的学习速度。
translated by 谷歌翻译
通过结合适当的参数规范的动态控制和基于参数规范的Rademacher复杂性估计,通过随机梯度下降训练的深神经网络(SGD)的深度神经网络的概括误差界限。界限明确取决于训练轨迹的损失,并为包括多层感知器(MLP)(MLP)和卷积神经网络(CNN)在内的广泛网络体系结构工作。与其他基于统一的稳定性界限(例如基于统一的范围)相比,我们的边界不需要$ l $ -smoothness nonConvex损耗函数,并直接应用于SGD而不是随机Langevin梯度下降(SGLD)。数值结果表明,我们的边界对优化器和网络超参数的变化是不变且健壮的。
translated by 谷歌翻译
网络完成是一个比链接预测更难的问题,因为它不仅尝试推断丢失的链接,还要推断节点。已经提出了不同的方法来解决此问题,但是很少有人使用结构信息 - 局部连接模式的相似性。在本文中,我们提出了一个名为C-GIN的模型,以根据图形自动编码器框架从网络的观察到的部分捕获局部结构模式,该框架配备了图形同构网络模型,并将这些模式推广到完成整个图形。对来自不同领域的合成和现实世界网络的实验和分析表明,C-Gin可以实现竞争性能,而所需的信息较少,并且在大多数情况下,与基线预测模型相比,可以获得更高的准确性。我们进一步提出了一个基于网络结构的“可达聚类系数(CC)”。实验表明,我们的模型在具有较高可及的CC的网络上表现更好。
translated by 谷歌翻译
由于他们越来越多的可负担性,可移植性和360 {\ DEG}视野,全向360 {\ DEG}图像在计算机视觉,机器人和其他领域找到了许多有希望和激动人心的应用。用于存储,处理和可视化360 {\ DEG}图像的最常用格式是互连的投影(ERP)。然而,由360 {\ DEG}图像引入的非线性映射引入到ERP图像的失真仍然是一种屏障,其容纳作为传统透视图像的易于用作易用的屏障。当估计360 {\ DEG}光流时,这尤其相关,因为需要适当地减去失真。在本文中,我们提出了一种基于切线图像的360 {\ DEG}光学流量。我们的方法利用GNOMONIC投影将ERP图像局部转换为透视图像,并且通过投影将ERP图像均匀地对准CUBEMAP和常规ICOSAHEDRON顶点来逐步地进行逐步改进估计的360 {\ DEG}流场。我们的实验表明了我们所提出的方法的益处,这些方法都是定量和定性的。
translated by 谷歌翻译
360 {\ DEG}相机可以在单次拍摄中捕获完整的环境,这使得在许多计算机视觉任务中制作360 {\ DEG}图像诱人。然而,单眼深度估计仍然是360 {\ DEG}数据的挑战,特别是对于2K(2048 $ \倍1024美元)的高分辨率,这对于新颖的综合和虚拟现实应用很重要。基于CNN的基于CNN的方法不支持由于GPU存储器有限而导致的这种高分辨率。在这项工作中,我们提出了一种灵活的框架,用于使用切线图像的高分辨率360 {\ DEG}图像的单眼深度估计框架。我们将360 {\ DEG}输入图像投影到一组切线,产生透视图,这适用于最新,最准确的最先进的透视单眼深度估计器。我们使用可变形的多尺度对准再次重新组合各个深度估计,然后通过梯度域混合来提高视差估计的一致性。结果是具有高细节水平的密集,高分辨率360 {\ DEG}深度图,也适用于现有方法不支持的户外场景。
translated by 谷歌翻译